目录

目标跟踪综述

Summary of Object Tracking

0 引言

1 目标跟踪的背景

3 目标跟踪的发展

3.1  生成式模型

3.2  判别式模型

3.3  深度学习下的目标跟踪

3.3.1 深度学习下的单目标跟踪

3.3.2 深度学习下的多目标跟踪

4  目标跟踪的展望

4.1  目标跟踪的应用

4.2 目标跟踪的发展趋势

5  结 束 语

参  考  文  献

【摘要】目标跟踪技术被广泛应用于安全监控、城市交通、军工领域等重要应用领域中,并促进了计算机视觉相关技术的进步。近年来,由于计算机技术和人工智能技术的迅速发展,目标追踪技术也得到了很大的提高。本章将着重关注于目标追踪的生成式建模、判别式建模动态发展历程,以及结合深度学习技术的近期研究进展,并试图给出对目标追踪关键技术的全面了解以及今后的研发思路。

关  键  词  目标跟踪; 生成式模型; 判别式模型; 深度学习

中图分类号  TP399               文献标识码  A

Abstract  Target tracking technology is widely used in security monitoring, urban transportation, military industry and other important application fields, and promotes the progress of computer vision related technology.  In recent years, due to the rapid development of computer technology and artificial intelligence technology, target tracking technology has also been greatly improved.  This chapter will focus on generative modeling and dynamic development of discriminant modeling of target tracking, as well as recent research progress of deep learning technology, and try to give a comprehensive understanding of key technologies of target tracking and future research and development ideas.  

Key words  target tracking ; generative model; discriminant model; deep learning 

目标跟踪是计算机视觉和机器人研发领域的重要分支，在人机交互、安全监控、自动驾驶、城市交通、军事领域、医疗诊断等领域都发挥了重要的作用，其主要功能就是在视频图像中遍历感兴趣的区域，并在接下来的视频帧中对其进行跟踪[1]。但是，由于在不同环境下的背景、光照以及物体姿态不同，对目标的实时跟踪还是存在比较大的困难的。所以，如何找到一个行之有效的跟踪方法在目标跟踪任务中是非常重要的。

人工智能起源于上个世纪五十年代，被誉为新时代工业革命的引擎。随着技术的发展，为了使得计算机可以拥有像人眼一样感知、分析、处理现实世界的能力，六十年代初，人工智能衍生出了一个重要的分支，计算机视觉。在计算机视觉的研究过程中，学者们为了阐述“根据目标在视频中的某一帧状态来估计其在后续帧中的状态”，一个新的学科——目标跟踪应运而生。

目标跟踪是计算机视觉和机器人研发领域的重要分支，在人机交互、安全监控、自动驾驶、城市交通、军事领域、医疗诊断等领域都发挥了重要的作用，尽管近年来，三大顶尖会议国际计算机视觉与模式识别会议(Conference on Computer Vision and Pattern Recognition，CVPR)、国际计算机视觉大会( International Conference on Computer Vision, ICCV) 和欧洲计算机视觉国际会议(European Conference on Computer Vision，ECCV)[2]公开的目标跟踪方面的论文数量逐年攀增，相关研究取得了很大的进展，图2展示了过去二十年目标检测的发展情况。

图1.目标检测和识别的里程碑[3]

但由于目标自身因素（如：外形变化、目标旋转等）和背景因素（如遮挡、光照等变化）等原因的存在（如图2目标跟踪面临的挑战），目标跟踪监测技术还是不能达到理想的效果。

图2.目标跟踪面临的挑战

随着目标跟踪方法近几十年以来的快速发展，诞生出了很多目标跟踪模型和方法，比如生成式模型、判别式模型以及其结合深度学习新的方法。

生成式模型主要通过对目标特征提取，对目标的运动状态和目标的外观进行建模。然后通过建立好的目标模型在线搜索重建误差最小的图像区域，完成目标的基本定位。通俗点叙述就是，在当前帧对目标区域进行建模，下一帧寻找与模型最相似的区域就是预测位置。生成式模型的主要工作流程如下图3。

图3.生成式模型目标跟踪系统结构

目前主流的基于生成式模型的目标跟踪算法主要有卡尔曼滤波，粒子滤波，均值漂移，光流法等。经过调查发展，基于生成式模型的目标跟踪相关算法的模型主要用到的有混合高斯模型、贝叶斯网络模型、马尔可夫模型。

但是生成式模型针对目标跟踪存在一些缺点：①不能充分利用目标背景信息。②鲁棒性不高。[4]总的来说，生成式模型无法处理复杂多变的环境，跟踪精度不高，自适应性也不是很高。此外不能够很好的解决多目标跟踪当中的遮挡问题。

判别式模型将跟踪问题看成了一个分类或者回归问题，目的是寻找一个能够将目标和背景分离开，从而实现对目标的跟踪。计算机视觉中的经典套路图像特征+机器学习，当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域：与生成类方法最大的区别是，分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。下图4是判别式模型的主要系结构图。

图4.分类判别式模型目标跟踪系统结构

基于分类的判别式模型的算法有：线性判别分析、基于支持向量机和adaboost等机器学习方法，结合haar特征和在线Boosting算法等。

此外判别式模型还经常使用回归模型，比较经典就是相关滤波，相关滤波具有速度快、跟踪效果好等优点，能够处理大量数据信息的优点。相关滤波目标跟踪的框架见下图5。之后通过在特征选择、正则化、尺度估计等方面对相关滤波改进，又延伸出了SRDCF、CSR-DCF等算法。

图5.相关滤波的框架图

在2013左右，随着深度学习在该领域的应用，目标跟踪的发展变得更加的快速。基于深度学习的目标跟踪不及能够解决单目标跟踪，还能解决更加复杂的多目标跟踪。

（1）基于孪生网络的单目标跟踪。孪生网络包含两个平行的输入，并将这两个输入连接在起来产生一个输出，以确定两个输出网络间是否含有相同的信息，其最早被用来实现签名验证[5]。孪生网路形如其名，通过判断和比较目标模板和待测物体之间的相似程度来实现对目标的跟踪。

（2）基于元学习的单目标跟踪。在深度学习当中，最需要的就是数据集，没有庞大的数据集作为支撑，强大的深度学习便“外强中干”。元学习下的目标跟踪解决了目标跟跟踪中目标样本不足的问题。2017年，Choi 等人首次将元学习理论引入目标跟踪领域，提出 MLT 算法，MLT 采用孪生网络和元学习网络耦合的方式，孪生网络为元学习网络提供训练样本关于损失函数的平均负梯度信息，元学习网络以卷积核和通道注意力反馈目标的特定信息，结合一般特征和目标特定特征最终得到的响应图可以 更加突出目标[6]。

（3）基于循环神经网络的单目标跟踪。卷积神经网络能够有效的提取目标的特征和信息，但是很多方法仅仅只关注了目标的外观和一些基本的参数信息，没有考虑整个“暗中的环境”—时序信息、目标周围整体环境等。近年来，循环神经网路在解决这些问题时展现出许多的优点，由此诞生了RTT,ROLO,多流卷积LSTM网络等算法。

    多目标跟踪相比较于单目标跟踪，目标之间具有了关联性，此外还增加了覆盖和干扰等问题，所以多目标跟踪更加的复杂。下图是基于深度学习多目标跟踪的分类。

图6.基于深度学习的视觉多目标跟踪算法分类[7]

（1）基于DBT算法的多目标跟踪。DBT算法通过对目标的运动和外观进行特征提取，进行相似度进行分析，之后建立起数据之间的关联性。

图7.基于DBT算法的多目标跟踪

虽然基于DBT算法能够很好的建立多目标数据之间的关联性，但是算法的执行速度却并不是很高。

（2）基于JDT算法的多目标跟踪。JDT算法与DBT算法不同在于整合了DBT算法当中的阶段化，降低了算法的复杂度，提高了执行速度。JDT算法结合了深度神经网络的强大特征，检测目标将跟踪的任务融入到目标检测当中，同时还计算出帧序列目标之间的关联性。此外，融合了单目标跟踪优秀算法，提升了算法的性能。

JDT算法也存在着一些不足，随着场景内的目标数量的不断加大，需要增加很多的分类器，算法的速度会下降。总的来说，JDT算法性能还是比较好的。

作为计算机视觉重要的研究领域，目标跟踪算法的进一步发展有着广阔的应用。包括但不限于以下几个方面。

图8.目标跟踪算法的应用

（1）人机交互。目前人机交互仅仅局限于鼠标、语音识别等传统的方式。借助目标跟踪算法的发展我们可以将手势、表情等传统算法难以处理的人体信息直接转化为有效信号，推动人机交互的发展。

（2）虚拟现实。虚拟现实技术在当下有着广泛的应用，比如元宇宙相关技术。虚拟现实技术十分依赖于人体运动信息的分析结果，所以它的进步也离不开目标跟踪算法的发展。

（3）智能监控。通过借助目标跟踪算法对视频进行智能处理，可以用来追踪可疑人物及其行为。

（4）智慧医疗。医疗影像图片因为噪声等原因往往不能提供完全可信的信息，因此可以借助目标跟踪算法来对收集到的一系列医疗影像图片中的特征物体进行跟踪，从而对患者的健康状况进行更全面的判断。

我们结合目标跟踪算法的发展历程，可以很容易地总结出在宏观层面目标跟踪算法具有以下发展趋势：

（1）借助深度学习相关算法提高准确度。例如， 相比于相关滤波类方法,深度学习方法的精度和成功率更高.在数据集OTB-2013中,排名前10的算法有9个是基于深度学习类的算法[8]。这是因为传统的目标跟踪算法在特征分类上远不及深度学习，借助深度学习训练得到的模型往往更加完善。

表1.目标跟踪算法速度、准确度之间的对比

（2）结合相关滤波算法提高追踪速度。传统的相关滤波算法在跟踪速度上具有无可比拟的优势。虽然在准确度上相较于深度学习有不足之处，但为跟踪速度的进一步提升提供了很好的优化方向。例如，采用深层特征的目标跟踪算法虽然在性能上得到了显著的提升，但是跟踪速度却明显地下降了[9]。针对此问题，ECO(Efficient Convolution Operators)算法有针对性地提出了相应的解决方法：在跟踪过程中只选择贡献相对较大的滤波器进行线性组合，从而减少模型参数，进而实现快速跟踪[10]。

（3）依靠神经网络提高鲁棒性。例如，对于传统的目标遮挡问题，可以通过训练神经网络来生成一个强大的分类器从而降低因目标遮挡问题而导致失跟的情况。神经网络还可以作为辅助网络进行特定区域显著性增强或自适应选择． Cui 等提出循环目标强化跟踪算法(Recurrently Target-Attending Tracking，RTT)，使用RNN网络提取显著性图，也使得滤波器能更好地关注对结果有帮助的部分[11]，这都可以提高目标跟踪算法的鲁棒性。

在微观层面上，我们也可以发现以下发展特点：

（1）寻找更有效的特征。

（2）生成功能强大的分类器。

（3）研究更好的模型更新机制。

（4）推动相关滤波与深度学习技术的结合。

本文回顾了目标跟踪相关技术的发展过程。作为计算机视觉的重要分支领域及研究热点，目标跟踪技术已经在实际的生产生活中发挥了重要作用。基于相关滤波方法的目标跟踪技术一直以来都是研究热点，而深度学习相关技术的引入则极大地促进了目标跟踪技术的发展。如何将二者有机结合，推动二者的协同发展是接下来的研究方向，相关研究会进一步推进目标跟踪技术的突破，进一步支持计算机视觉科学技术的发展。

[1]王海涛,王荣耀,王文皞,等.目标跟踪综述[J].计算机测量与控制,2020,28(4):1-6,21.DOI:10.16526/j.cnki.11-4762/tp.2020.0 4.001.

[2]彭建盛,许恒铭,李涛涛,侯雅茹.生成式与判别式视觉目标跟踪算法综述[J].科学技术与工程,2021,21(35):14871-14881.

[3]Li Liu ,Wanli Ouyang, Xiaogang Wang 4 ,Paul Fieguth ,Jie Chen ,Xinwang Liu 1 ,Matti Pietikainen. Deep Learning for Generic Object Detection: A Survey. arXiv:1809.02165v4 [cs.CV] 22 Aug 2019.

[4] 朱文青,刘艳,卞乐,等.基于生成式模型的目标跟踪方法综述[J]. 微处理机,2017,38(1):41-47.DOI:10.39 69/j.issn.1002 -2279.2017.01.011.

[5] Bromley J，Guyon I，LeCun Y,et al. Signature verification using a "Siamese”time delay neural network[J].International Joumal of Pat-tern Recognition and Artificial Intelligence,1993,7(4):669-688.

[6] 张长弓,杨海涛,王晋宇,等. 基于深度学习的视觉单目标跟踪综述[J]. 计算机应用研究,2021,38(10):2888-2895.DOI: 10.19734/j.issn.1001-3695.2021.03.0036.

[7] 张瑶,卢焕章,张路平,等. 基于深度学习的视觉多目标跟踪算法综述[J]. 计算机工程与应用,2021,57(13):55-66. DOI:10.3778/j.issn.1002-8331.2102-0260.

[8] 孟琭,杨旭.目标跟踪算法综述[J].自动化学报,20 19, 45(07):1244-1260.DOI:10.16383/j.aas.c180277.

[9] 刘艺, 李蒙蒙, 郑奇斌,等.目标跟踪算法综述[J]. 计算机科学与探索, 1.

[10] Danelljan M, Bhat G, Shahbaz Khan F, et al. Eco: Efficient convolution operators for tracking[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 6638-6646.

[11] 卢湖川,李佩霞,王栋.目标跟踪算法综述[J].模式识    别与人工智能,2018,31(01):61-76.DOI:10.16451/j.cnki.issn100 3-6059. 201801006.